Khu vườn nằm bên ngoài Trường môn của Tô Châu, nó được Từ Thái Thời, một quan chức bị luận tội nhưng sau đó được miễn tội vào năm 1593 ủy quyền xây dựng. Thợ đá Châu Thời Thần là người đã thiết kế và xây dựng khu vườn phía đông (Đông viên, 东园). Đông viên nổi tiếng khi các phán quan Ngô và Thường Châu đều ca ngợi hết lời thiết kế của, một hòn non bộ được xây dựng giống với núi Quốc Thanh ở Phổ Đà.[1]

Năm 1798, Lưu Thứ là một quan lại dưới thời vua Gia Khánh đã tái thiết lại khu vườn với việc thêm vào rặng thông và tre. Là người yêu thích sưu tập đá học giả, ông đã bổ sung thêm 12 viên đá nữa vào "rừng đá" trong khu vườn. Đó cũng là lúc "thiên đình ngũ đỉnh" được xây dựng. Khu vườn sớm đã được gọi là Lưu viên theo tên họ của gia chủ. Bắt đầu từ năm 1823 vào thời vua Đạo Quang, khu vườn đã mở cửa cho công chúng tham quan và trở thành một địa danh nổi tiếng.[2] Nhưng đến thời Thái Bình Thiên Quốc, khu vườn dần trở lên hoang vắng do chiến tranh và thiếu người quản lý.

Năm 1873, vào thời vua Đồng Trị năm thứ 12, nó được chuyển quyền sở hữu cho Thịnh Khang, một thủ quỹ của tỉnh Hồ Bắc và cha đẻ của Thịnh Tuyên Hoài. Ông đã cho sửa chữa những hư hại của khu vườn sau loạn Thái Bình Thiên Quốc và phải mất ba năm để hoàn thành. Khu vườn được đổi tên thành Lưu viên. Cái tên này đồng âm với một cái tên cũ hơn, có nghĩa là sự nhàn hạ và cũng để tỏ lòng thành kính đối với người chủ cũ của khu vườn. Khu vườn sau đó được Thịnh Tuyên Hoài kế thừa nhưng đã bỏ rơi nó vào năm 1911 và nó rơi vào tình trạng hư hỏng.

Trong Chiến tranh Trung-Nhật, khu vườn lại bị bỏ hoang, thậm chí nó còn bị biến đổi thành khu chăn nuôi ngựa của quân đội. Sau khi thành lập nước Cộng hòa Nhân dân Trung Hoa, chính quyền Tô Châu đã tiếp quản và cải tạo khu vườn. Nó đã được mở cửa trở lại cho công chúng vào năm 1954. Năm 1997, khu vườn được thêm vào danh sách Di sản thế giới của UNESCO, và là một địa điểm du lịch chính của Tô Châu. Ngày nay, Di Hòa viên ở Bắc Kinh, Tị Thử Sơn Trang ở Thừa Đức và Tô Châu Viên Lâm được xếp vào danh sách những khu vườn cổ điển đẹp nhất Trung Quốc.